Một nguồn tin chính thức là Sverdlov chết vì cúm ở Oryol trong đại dịch cúm năm 1918, trong chuyến đi chính trị từ Kharkiv trở về Moskva và bị nhiễm cúm khi tham gia phát biểu ngoài trời. Ông được chôn cất tại bức tường Necropolis Điện Kremlin tại Moskva. Riêng dư luận lại cho rằng ông qua đời vì bệnh lao do thể trạng gầy gò xanh xao.[8] Sử gia Arkadi Waksberg tuyên bố rằng có tin đồn đáng tin cậy rằng Sverdlov bị các công nhân đánh đến chết ở Oryol, do nguồn gốc Do Thái của ông, và vụ việc đã được che đậy để ngăn chặn làn sóng chống Do Thái bộc phát. Một nghiên cứu khác là ông đã bị chính phủ cách mạng loại bỏ do có dính dáng đến một vụ ám sát Lenin.[9]

Ông là người đầu tiên trong số các thanh viên kỳ cựu Bolshevik qua đời. Năm 1924, Yekaterinburg đã được đổi tên thành Sverdlovsk để vinh danh ông, đến năm 1991 mới được đổi trở lại tên gọi cũ. Con trai của ông Andrei đã có một sự nghiệp lâu dài khi là một sĩ quan cho các cơ quan an ninh Liên Xô (NKVD, OGPU). Cháu gái của ông Ida kết hôn với người đứng đầu NKVD Genrikh Yagoda.